#평가 지표

OpenAI, 인기 코딩 벤치마크 30% 결함 발견

OpenAI가 널리 쓰이는 AI 코딩 평가 테스트인 'SWE-Bench Pro'의 약 30%가 결함이 있다는 사실을 발견하고 공식 지지를 철회했습니다. 단순한 공백 오차나 숨겨진 정답 우회 등으로 인해 AI의 실제 코딩 역량이 왜곡되어 평가되고 있기 때문입니다. 이에 따라 AI 업계는 권위 있던 기존 순위표를 폐기하고, 보다 신뢰할 수 있는 새로운 벤치마크 마련을 촉구하고 있습니다.

SWE-bench, 오염으로 사실상 한계 도달

오래전부터 코딩 AI 성능의 표준이었던 벤치마크 SWE-bench Verified가 데이터 오염 문제와 불량 테스트 케이스로 인해 최신 프론티어 모델의 코딩 능력을 더 이상 제대로 측정하지 못한다는 분석이 나왔습니다. 평가 데이터가 모델 학습에 노출되어 실력 향상이 아닌 사전 지식 암기로 점수가 올라가는 문제가 발생하고 있습니다. 이에 따라 업계는 새로운 대체 평가 지표인 SWE-bench Pro 사용을 권장하고 있습니다.